Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity
稀疏增量记忆：以稀疏性缩放线性RNN状态
🧭 线性RNN稀疏状态扩展 ★ 深度解读
Meta FAIR · Inria Paris & ENS-PSL University · University of Tübingen
通过稀疏寻址将门控线性RNN的状态容量提升千倍，在等FLOPs下大幅改善长上下文检索和训练损失
📌 工作参考价值（4 点）
- 长序列Agent的记忆压缩：SDM用常量计算量维护大规模上下文状态，适合仍需多轮对话、长推理链的电商客服/购物助手Agent，避免KV cache爆炸，降低推理延迟。
- 推荐系统长序列建模：可替代Transformer的KV缓存来处理超长用户行为序列（如数万次点击），在固定显存下支持更长的交互历史，提升序列模型对长期兴趣的捕捉。
- 可学习初始状态用于存储领域知识：SDM将记忆的初始状态设为可学习参数，预训练后可携带通用常识（如商品品类关系），类似隐式的知识库，可迁移到生成式推荐模型的“记忆增强”模块。
- 稀疏更新工程实现：论文的chunk-wise并行训练与两指针合并求稀疏内积可在业务模型（如LLaMA类）中实现高效的大容量记忆层，适合需低成本接入长上下文的场景。